联合学习（FL）是一种新兴的范式，可实现对机器学习模型的大规模分布培训，同时仍提供隐私保证。在这项工作中，我们在将联合优化扩展到大节点计数时共同解决了两个主要的实际挑战：中央权威和单个计算节点之间紧密同步的需求以及中央服务器和客户端之间的传输成本较大。具体而言，我们提出了经典联合平均（FedAvg）算法的新变体，该算法支持异步通信和通信压缩。我们提供了一种新的分析技术，该技术表明，尽管有这些系统放松，但在合理的参数设置下，我们的算法基本上与FedAvg的最著名界限相匹配。在实验方面，我们表明我们的算法确保标准联合任务的快速实用收敛。

Multi-document summarization (MDS) has traditionally been studied assuming a set of ground-truth topic-related input documents is provided. In practice, the input document set is unlikely to be available a priori and would need to be retrieved based on an information need, a setting we call open-domain MDS. We experiment with current state-of-the-art retrieval and summarization models on several popular MDS datasets extended to the open-domain setting. We find that existing summarizers suffer large reductions in performance when applied as-is to this more realistic task, though training summarizers with retrieved inputs can reduce their sensitivity retrieval errors. To further probe these findings, we conduct perturbation experiments on summarizer inputs to study the impact of different types of document retrieval errors. Based on our results, we provide practical guidelines to help facilitate a shift to open-domain MDS. We release our code and experimental results alongside all data or model artifacts created during our investigation.

Embedding based product recommendations have gained popularity in recent years due to its ability to easily integrate to large-scale systems and allowing nearest neighbor searches in real-time. The bulk of studies in this area has predominantly been focused on similar item recommendations. Research on complementary item recommendations, on the other hand, still remains considerably under-explored. We define similar items as items that are interchangeable in terms of their utility and complementary items as items that serve different purposes, yet are compatible when used with one another. In this paper, we apply a novel approach to finding complementary items by leveraging dual embedding representations for products. We demonstrate that the notion of relatedness discovered in NLP for skip-gram negative sampling (SGNS) models translates effectively to the concept of complementarity when training item representations using co-purchase data. Since sparsity of purchase data is a major challenge in real-world scenarios, we further augment the model using synthetic samples to extend coverage. This allows the model to provide complementary recommendations for items that do not share co-purchase data by leveraging other abundantly available data modalities such as images, text, clicks etc. We establish the effectiveness of our approach in improving both coverage and quality of recommendations on real world data for a major online retail company. We further show the importance of task specific hyperparameter tuning in training SGNS. Our model is effective yet simple to implement, making it a great candidate for generating complementary item recommendations at any e-commerce website.

Large language models (LLMs) have been shown to be able to perform new tasks based on a few demonstrations or natural language instructions. While these capabilities have led to widespread adoption, most LLMs are developed by resource-rich organizations and are frequently kept from the public. As a step towards democratizing this powerful technology, we present BLOOM, a 176B-parameter open-access language model designed and built thanks to a collaboration of hundreds of researchers. BLOOM is a decoder-only Transformer language model that was trained on the ROOTS corpus, a dataset comprising hundreds of sources in 46 natural and 13 programming languages (59 in total). We find that BLOOM achieves competitive performance on a wide variety of benchmarks, with stronger results after undergoing multitask prompted finetuning. To facilitate future research and applications using LLMs, we publicly release our models and code under the Responsible AI License.

Vocoders是能够将音频信号（通常是MEL频谱图）转换为波形的低维光谱表示。现代语音生成管道使用Vocoder作为其最终组成部分。最近为语音开发的Vocoder模型实现了高度的现实主义，因此自然想知道它们在音乐信号上的表现。与言语相比，音乐声纹理的异质性和结构提供了新的挑战。在这项工作中，我们专注于一种专为语音设计的Vocoder模型在应用于音乐时倾向于展示的一种特定工件：合成持续的音符时的俯仰不稳定性。我们认为，该伪像的特征声音是由于缺乏水平相一致性，这通常是由于使用时间域目标空间与跨度班的模型（例如卷积神经网络）不变的结果。我们提出了专门为音乐设计的新型Vocoder模型。提高音高稳定性的关键是选择由幅度频谱和相位梯度组成的移位不变的目标空间。我们讨论了启发我们重新构建Vocoder任务的原因，概述一个工作示例，并在音乐信号上进行评估。我们的方法使用新颖的谐波误差度量标准，导致60％和10％的改善了相对于现有模型的持续音符和和弦的重建。

培训和评估语言模型越来越多地要求构建元数据 - 多样化的策划数据收集，并具有清晰的出处。自然语言提示最近通过将现有的，有监督的数据集转换为多种新颖的预处理任务，突出了元数据策划的好处，从而改善了零击的概括。尽管将这些以数据为中心的方法转化为生物医学语言建模的通用域文本成功，但由于标记的生物医学数据集在流行的数据中心中的代表性大大不足，因此仍然具有挑战性。为了应对这一挑战，我们介绍了BigBio一个由126个以上的生物医学NLP数据集的社区库，目前涵盖12个任务类别和10多种语言。 BigBio通过对数据集及其元数据进行程序化访问来促进可再现的元数据策划，并与当前的平台兼容，以及时工程和端到端的几个/零射击语言模型评估。我们讨论了我们的任务架构协调，数据审核，贡献指南的过程，并概述了两个说明性用例：生物医学提示和大规模，多任务学习的零射门评估。 BigBio是一项持续的社区努力，可在https://github.com/bigscience-workshop/biomedical上获得。

有关各个消费者财务行为（如信用卡和贷款活动）的数百个变量的数据是在许多国家常规收集的，并在贷款决策中发挥重要作用。我们假设该数据的详细性质可用于预测看似无关的域等诸如个人健康的域中的结果。我们构建一系列机器学习模型，以证明信用报告数据可用于预测单个死亡率。与信用卡和各种贷款相关的可变团体，主要是无担保贷款，具有显着的预测力。这些变量的滞后也很重要，从而表明动态也很重要。基于消费者金融数据的提高死亡率预测可以对保险市场具有重要的经济影响，但也可能提高隐私问题。

黑人生活问题（BLM）是一项分散的社会运动，抗议对黑人个人和社区的暴力行为，重点是警察暴力。 2020年，艾哈迈德·阿贝里（Ahmaud Arbery），布雷纳·泰勒（Breonna Taylor）和乔治·弗洛伊德（George Floyd）的杀害后，该运动引起了人们的关注。#BlackLivesMatter社交媒体标签已经代表了基层运动，并以类似的标签来抗议BLM运动，例如#AllllivesMatter和#allllivesmatter和#allllivesmatter，以及#bluelivesmatter。我们介绍了来自100多个国家 /地区的1,300万用户的6390万推文的数据集，其中包含以下关键字之一：BlackLivesMatter，AlllivesMatter和BluelivesMatter。该数据集包含从2013年BLM运动开始到2021年的所有当前可用推文。我们总结了数据集并显示了使用BlackLivesMatter关键字和与反向运动相关的关键字的时间趋势。此外，对于每个关键字，我们创建并发布了一组潜在的Dirichlet分配（LDA）主题（即自动聚集了语义上共同共的单词的组），以帮助研究人员识别这三个关键字的语言模式。

社交媒体越来越多地用于大规模的人口预测，例如估计社区健康统计数据。但是，社交媒体用户通常不是预期人群的代表性样本 - “选择偏见”。在社会科学中，这种偏见通常是通过约束技术解决的，在这种偏见的情况下，根据其社会人口统计学群体的不足或过度采样，将观察结果重新恢复。然而，很少评估约束性以改善预测。在这项两部分的研究中，我们首先评估了标准“现成”的限制技术，发现它们在四个从Twitter中介绍美国县人口健康统计数据的四个任务中没有提供任何改进，甚至通常会退化预测准确性。降级表现的核心原因似乎与他们对每个人群社会人口统计学的稀疏或缩减估计的依赖有关。在研究的第二部分中，我们开发和评估了强大的阶段化后，该方法包括解决这些问题的三种方法：（1）估算器重新分布以说明缩小的缩小，以及（2）自适应式嵌套和（3）告知平滑为处理稀疏的社会人口统计学估计。我们表明，这些方法中的每一种都会导致预测准确性比标准限制方法显着改善。综上所述，强大的后阶段能够实现最先进的预测准确性，在调查的生活满意度的情况下，解释的方差（R^2）增加了53.0％，所有任务的平均平均值增加了17.8％。